尽管进行了多年的研究，但跨域的概括仍然是深层网络的语义分割的关键弱点。先前的研究取决于静态模型的假设，即训练过程完成后，模型参数在测试时间保持固定。在这项工作中，我们通过一种自适应方法来挑战这一前提，用于语义分割，将推理过程调整为每个输入样本。自我适应在两个级别上运行。首先，它采用了自我监督的损失，该损失将网络中卷积层的参数定制为输入图像。其次，在批准层中，自适应近似于整个测试数据的平均值和方差，这是不可用的。它通过在训练和从单个测试样本得出的参考分布之间进行插值来实现这一目标。为了凭经验分析我们的自适应推理策略，我们制定并遵循严格的评估协议，以解决先前工作的严重局限性。我们的广泛分析得出了一个令人惊讶的结论：使用标准训练程序，自我适应大大优于强大的基准，并在多域基准测试方面设定了新的最先进的准确性。我们的研究表明，自适应推断可以补充培训时间的既定模型正规化实践，以改善深度网络的概括到异域数据。
translated by 谷歌翻译
生成模型已成为许多图像合成和编辑任务的基本构件。该领域的最新进展还使得能够生成具有多视图或时间一致性的高质量3D或视频内容。在我们的工作中，我们探索了学习无条件生成3D感知视频的4D生成对抗网络（GAN）。通过将神经隐式表示与时间感知歧视器相结合，我们开发了一个GAN框架，该框架仅通过单眼视频进行监督的3D视频。我们表明，我们的方法学习了可分解的3D结构和动作的丰富嵌入，这些结构和动作可以使时空渲染的新视觉效果，同时以与现有3D或视频gan相当的质量产生图像。
translated by 谷歌翻译
2021-11-29
学习来自观察数据的行为模式一直是运动预测的遗传方法。然而，目前的范式遭受了两种缺点：协会变化下的脆性和知识转移的低效。在这项工作中，我们建议从因果表现形式解决这些挑战。我们首先介绍了运动预测的因果形式主义，这将问题作为一种动态过程，其中三组潜在变量，即不变的机制，风格混乱和虚假功能。然后我们介绍一个学习框架，分别对待每个组：（i）与从不同地点收集的数据集的共同做法不同，我们通过不变性的损失来利用它们的微妙区分，鼓励模型抑制虚假相关; （ii）我们设计了一种模块化的架构，可以修理不变机制和风格混淆的表示，以近似因果图; （iii）我们介绍了一种风格的一致性损失，不仅强制实施了风格表示的结构，而且还用作自我监控信号，以便在飞行中进行测试时间改进。合成和实时数据集的实验结果表明，我们的三个提出的组件显着提高了学习运动表示的鲁棒性和可重用性，优于出现的先前最先进的运动预测模型，用于分发外概括和低次转移。
translated by 谷歌翻译
我们根据函数的个体偏差而不是考虑类别中最严重的偏差，为由一类函数索引的经验过程制定了统一的尾巴。尾巴结合是通过向标准通用链条参数引入初始“通缩”步骤来建立的。最终的尾巴绑定具有主要的复杂性分量，这是talagrand的$ \ gamma $ functional for deflated函数类功能的变体，以及一个依赖实例的偏差术语，该术语由合适的规范的适当缩放版本来衡量。这两个术语均使用基于相关累积生成函数制定的某些系数表示。当函数类位于给定（指数类型）Orlicz空间时，我们还为上述系数提供了更明确的近似值。
translated by 谷歌翻译
本文介绍了一种新的数据驱动方法，利用由可逆神经网络产生的歧管嵌入，以提高具有有限数据的无组则无法模拟的鲁棒性，效率和准确性。我们通过培训深度神经网络来实现这一点，以将来自本组成歧管的全局映射到下一维欧几里德矢量空间。因此，我们建立了映射欧几里德矢量空间的规范与歧管的度量之间的关系，并导致更具物理上一致的材料数据距离概念。这种处理允许我们绕过昂贵的组合优化，当数据丰富并且高维时，这可能会显着加速无模型模拟。同时，当数据稀疏或在参数空间中不均匀地分布时，嵌入的学习还提高了算法的稳健性。提供了数值实验以证明和测量不同情况下歧管嵌入技术的性能。比较了从所提出的方法获得的结果和通过经典能量规范获得的结果。
translated by 谷歌翻译
最近的自我监督进展表明，预先训练大量无监督数据的大型神经网络可能导致下游任务的概括令人印象深刻。这些模型最近被作为基础模型，一直转变为自然语言处理领域。虽然类似的模型也在大型图像的核心训练中，但它们不适合遥感数据。为刺激地球监测基础模型的发展，我们建议开发由与气候变化相关的各种下游任务组成的新基准。我们认为，这可能导致许多现有应用程序的大量改进，并促进新应用的发展。该提案还可以提出合作，并提出更好的评估过程，以减轻地球监测的基础模型的潜在缺陷。
translated by 谷歌翻译